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Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

Priifungsantrag gem. § 44 PatG ist gestellt 

(S) Fahrzeugumgebungsiiberwachungssystem 

(57) Die Erfindung stellt ein Fahrzeugumgebungsuberwa- 

chungssystem fu r ein Kraftfahrzeug bereit, welches ge- 

eignet ist, genau die Bewegung eines in einer Umgebung 

des Fahrzeugs vorhandenen Objekts zu erfassen und die 

Moglichkeit fur eine Kollision zwischen dem Objekt und 

dem Fahrzeug zu bestimmen, und dadurch den Fahrer an- 

gemessen zu warnen. Eine Relativposition des Objekts zu 

dem Kraftfahrzeug wird aus dem mittels einer an dem 

Fahrzeug angebrachten Kamera erhaltenen Bild erhalten, 

urn Positionsdaten zu erlangen (S11-S20, S31-S33). Posi- 

tionen des Objekts in einem Echtraum werden basierend 

auf einer Mehrzahl von Zeitreihendatenelementen der an 

dem Objekt erfafcten Positionsdaten berechnet (S21, S22) 

und ein Bewegungsvektor des Objekts wird basierend auf 

den Positionen im Echtraum berechnet (S23). Es wird ba- 
i sierend auf dem Bewegungsvektor bestimmt (S24), ob 
, das Objekt eine bedeutende Moglichkeit fur eine Kollision 
• mit dem Kraftfahrzeug aufweist. 
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Beschreibung 
HINTERGRUND DER ERFINDUNG 

■ # 

5 Gebiet der Erfindung 

Diese Erfindung betrifft ein Fahrzeugumgebungsiiberwachungssystem, welches eine Umgebung eines Kraftfahrzeugs 
uberwacht, an dem das System installiert ist, und ein Objekt erfaBt, welches mit dem Fahrzeug kollidieren konnte, aus ei- 
nem Bild, das durch eine an dem Fahrzeug angebrachte Abbildungseinrichtung erhalten wird, wodurch eine Kollision 
10 mit groBen Tieren wie etwa einem Reh, einem Baren und dergleichen vermieden werden, da eine derartige Kollision sich 
nachteiiig auf die Fahrt des Fahrzeugs auswirkt. 



Beschreibung des Stands der Technik 



15 Durch die japanische Offenlegungs-Patentveroffentlichung (Kokai) Nr. 9-226490 wurde in herkommlicher Weise ein 
Erfassungssystem zum Erfassen eines eine StraBe kreuzenden Objekts vorgeschlagen, welches eine Distanz zwischen 
dem Fahrzeug und dem Objekt basierend auf dem Versatz zwischen Bildern des Objekts erfaBt, und zwar der Parallaxe 
von Bildern, die durch zwei CCD (charge-coupled device)-Kameras erhalten werden, die an dem Fahrzeug angebracht 
sind, wodurch ein FuBganger 30 bis 60 Meter vor dem Fahrzeug erfaBt wird. 

20 Die obige herkommliche Vorrichtung bestimmt die Moglichkeit einer Kollision mit einem Objekt unter Verwendung 
der Richtung eines optischen Flusses des erfaBten Objekts basierend auf durch die Kameras erhaltenen Bildem des Ob- 
jekts, ohne weitere Verarbeitung, was zu einer verschlechterten Bestimmungsgenauigkeit fuhrt, abhangig von einer rela- 
tiven Distanz zwischen dem Fahrzeug und dem Objekt so wie der Geschwindigkeit des Fahrzeugs. Dies bedeutet, wenn 
eine Fahrzeuggeschwindigkeit wesentlich groBer als die Geschwindigkeit eines sich bewegenden Objekts ist, so wird ein 

25 optischer FluB auf dem Bild, der z. B. einem sich tatsachlich zur Mitte einer StraBe sich bewegenden Objekt entspricht, 
manchmal als ein Vektor verfolgt, der sich auBerhalb der StraBe erstreckt, was eine fehierhafte Bestimmung der Mog- 
lichkeit einer potentiellen Kollision zur Folge hat. 

ABRISS DER ERFINDUNG 

30 

Es ist eine Aufgabe der Erfindung, ein Fahrzeugumgebungsuberwachungssystem bereitzustellen, welches es ermog- 
licht, genauer die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und die Moglich- 
keit einer Kollision zwischen dem Objekt und dem Fahrzeug zu bestimmen und dadurch den Fahrer zuverlassiger zu 
warnen. 

35 Zur Losung der obigen Aufgabe stellt die vorliegende Erfindung ein Fahrzeugumgebungsiiberwachungssystem fur ein 
Kraftfahrzeug bereit, welches ein in einer Umgebung des Kraftfahrzeugs vorhandenes Objekt aus einem Bild erfaBt, wel- 
ches durch Abbildungsmittel erhalten wird, die an dem Kraftfahrzeug angeordnet sind. 

Das Fahrzeugumgebungsiiberwachungs system ist dadurch gekennzeichnet, daB es umfaBt: 
Relativpositionserfassungsmittel zum Erfassen einer Relativposition des Objekts zu dem Kraftfahrzeug aus dem Bild, 

40 das durch die Abbildungsmittel erhalten wird, um Positionsdaten zu erhalten; 

Bewegungsvektorberechnungsmittel zum Berechnen von Positionen des Objekts in einem Echtraum, basierend auf einer 
Mehrzahl von Zeitreihendatenelernenten der Positionsdaten, die mittels der Reiativpositionerfassungsmittel an dem Ob- 
jekt erfaBt werden, und zum Berechnen eines Bewegungsvektors des Objekts, basierend auf den Positionen in dem Ech- 
traum; und 

45 Bestimmungsmittel zum Bestimmen, ob das Objekt eine bedeutende Moglichkeit einer Kollision mit dem Kraftfahrzeug 
besitzt oder nicht, basierend auf dem Bewegungsvektor. 

GemaB diesemFahrzeugumgebungsuberwachungssystem wird die Relativposition des Objekts zu dem Kraftfahrzeug 
aus dem Bild erfaBt, welches durch die Abbildungsmittel erhalten wird, um die Positionsdaten zu erhalten, und werden 
Positionen des Objekts in einem Echtraum berechnet, basierend auf einer Mehrzahl von Zeitreihendatenelernenten der an 

50 dem Objekt erfaBten Positionsdaten. Dann wird basierend auf den Positionen des Objekts in dem Echtraum ein Bewe- 
gungsvektor des Objekts berechnet, und es wird basierend auf dem Bewegungsvektor bestimmt, ob das Objekt eine be- 
deutende Moglichkeit einer Kollision mit dem Kraftfahrzeug besitzt. Deshalb ist es, anders als bei dem herkommlichen 
System, moglich, das Auftreten einer fehlerhaften Bestimmung zu vermeiden und dadurch die Genauigkeit der Bestim- 
mung der Moglichkeit einer Kollision zu steigem. 

55 Vorzugsweise umfassen die Bewegungsvektorberechnungsmittel Naherungsgeradenberechnungsmittel zum Berech- 
nen einer Naherungsgeraden, welche eine Ortskurve der Relativbewegung des Objekts nahert, und Positionsdatenkorrek- 
turmittel zum Korrigieren der Zeitreihendatenelemente der Positionsdaten unter Verwendung der Naherungsgeraden, 
wobei die Bewegungsvektorberechnungsmittel den Bewegungsvektor basierend auf den korrigierten Zeitreihendatenele- 
rnenten der Positionsdaten berechnen. 

60 GemaB dieser bevorzugten Ausfuhrungsform wird eine gerade Naherungslinie berechnet, die eine Ortskurve der Re- 
lativbewegung des Objekts nahert, und (lie Zeitreihendatenelemente der Positionsdaten werden unter Verwendung der 
Naherungsgeraden korrigiert. Der Bewegungsvektor wird basierend auf den korrigierten Zeitreihendatenelernenten der 
Positionsdaten berechnet. Deshalb ist es moglich, eine nachteilige Wirkung von Fehlern bei der Erfassung der Positions- 
daten zu vermindern und die Moglichkeit einer Kollision mit dem Objekt im voraus genauer abzuschatzen. 

65 Vorzugsweise fiihren die Bestimmungsmittel die Bestimmung durch Anwenden von Bedingungen zum Bestimmen ei- 
ner potentiellen Kollision aus, wobei die Bedingungen von einer Breite des Fahrzeugs abhangig sind. 

GemaB dieser bevorzugten Ausfuhrungsform wird die Moglichkeit einer Kollision durch Anwenden von Bedingungen 
fur ein Bestimmen einer potentiellen Kollision bestimmt, die abhangig von einer Breite des Fahrzeugs sind. Dies ermog- 
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licht es, die Moglichkeit eij^^Collision genauer zu bestimmen und zu vermeiden,^^Mer Fahrer unnotigerweise ge- 
warnt wird. . t '^^H 

Weiter bevorzugt berechn^Hie Naherungsgeradenberechnungsmittel die Naherungsgerade als eine dreidimensionale 
Gerade, umfassend Daten einer Hone des Objekts. 

GemaB dieser bevorzugten Ausfuhrungsform ist es moglich, die Moglichkeit einer Kollision genau zu bestimmen, 5 
selbst wenn der Fahrer auf einer hiigeligen StraBe fahrt. 

Vorzugsweise umfassen die Abbildungsmittel zwei Infrarotkameras, die zur Erfassung von Infrarotstrahlung geeignet 
sind. 

GemaB dieser bevorzugten Ausfuhrungsform kann ein Tier, ein fahrendes Kraftfahrzeug und dergleichen einfach er- 
faBt werden, selbst wenn der Fahrer bei Nacht fahrt und es schwierig ist, diese zu erkennen. 10 

Vorzugsweise umfassen die Abbildungsmittel zwei TV-Kameras zum Erfassen von Infrarotstrahlung oder sichtbarer 
Strahlung und umfassen die Relativpositionbestimmungsmittei Suchbereichsetzmittel zum Setzen, basierend auf einer 
Position eines Objektbilds, das in einer Bildausgabe von einer der zwei TV-Kameras enthalten ist, eines Suchbereichs in 
einer Bildausgabe von der anderen der zwei TV-Kameras, um ein korrespondierendes Objektbiid zu suchen, das in der 
Bildausgabe der anderen der zwei TV-Kameras enthalten ist, Korrespondenzobjektidentifizierungsmittel zum Identifizie- 15 
ren des korrespondierenden Objektbilds durch Ausftihren einer Korrelationsoperation an Daten in dem Suchbereich, und 
Distanzberechnungsmittel zum Berechnen einer Distanz von dem Fahrzeug zu dem Objekt basierend auf einer Parallaxe 
zwischen dem Objektbiid und dem Korrespondenzobjektbild. 

Weiter bevorzugt sind die Daten in dem Suchbereich Graustufendaten, die Halbtoninformation enthalten. 

Indem nicht binare Daten sondem Graustufendaten verwendet werden, ist es gemaB dieser bevorzugten Ausfuhrungs- 20 
form moglich, eine genauere Korrelationsoperation durchzufuhren, wodurch eine fehlerhafte Identifizierung eines kor- 
respondierenden Objektbilds verrnieden wird. 

Weiterhin bevorzugt umfassen die Relativpositionserfassungsmittel Verfolgungsrnittel zum Verfolgen eines Objekts, 
das sich in dem Bild bewegt, das durch die Abbildungsmittel erhalten wird, unter Verwendung von Binardaten, die durch 
Binarisierung der Graustufendaten gebildet werden. 25 

Noch weiter bevorzugt erkennen die Verfolgungsrnittel das verfolgte Objekt unter Verwendung von Lauflangendaten, 
die aus den Binardaten codiert werden. 

GemaB dieser bevorzugten Ausfuhrungsform ist es moglich, die Menge von Daten, die das verfolgte Objekt betreffen, 
zu reduzieren, wodurch bei der Kapazitat der Speichereinrichtung gespart wird. 

Noch weiter bevorzugt bestimmen die Verfolgungsrnittel eine Identitat des verfoigten Objekts, basierend auf Positi- 30 
onskoordinaten eines Fiachenschwerpunkts von einem Bilds desselben, einer Flache des Bilds desselben und einem Sei- 
tenverhaltnis eines das Bild desselben umschreibenden Rechtecks. 

GemaB dieser bevorzugten Ausfuhrungsform ist es moglich, die Identitat eines verfoigten Objekts genau zu bestim- 
men. 

Vorzugsweise umfaBt das Fahrzeugumgebungsuberwachungssystem Warnungsmittel zum Warnen eines Fahrers, 35 
wenn durch die Bestimmungsmittel bestimmt wird, daB es eine bedeutende Moglichkeit einer Kollision mit dem Objekt 
gibt, und sind die Warnungsmittel an einem Warnen des Fahrers gehindert, wenn der Fahrer eine Bremsoperation aus- 
fiihrt und die hierbei durch die Bremsoperation verursachte Verzogerung groBer als eine vorbestimmte Schwelle ist. 

GemaB dieser bevorzugten Ausfuhrungsform wird der Fahrer nicht gewarnt, wenn er das Objekt bereits erkannt hat 
und eine angemessene Bremsoperation ausfuhrt. Dies ermoglicht es, zu verhindern, daB der Fahrer durch eine unnotige 40 
Wamung gestort wird. 

Die obigen und weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Be- 
schreibung in Verbindung mit den beigefugten Zeichnungen ersichtlicher. 

KURZE BESCHREIBUNG DER ZEICHNUNGEN 45 

Fig. 1 ist ein Blockdiagramm, das die Anordnung eines Fahrzeugumgebungsuberwachungssysterns gemaB einer Aus- 
fuhrungsform der Erfindung zeigt; 

Fig. 2 ist eine Darstellung, die Teile eines Fahrzeugs veranschaulicht, an welchen in Fig. 1 dargestellte Anbringungs- 
kameras angebracht sind; 50 

Fig. 3 ist ein FluBdiagramm, das eine Verarbeitungsprozedur zeigt, die durch eine in Fig. 1 dargestellte Bildverarbei- 
tungseinheit ausgefuhrt wird; 

Fig. 4 ist ein FluBdiagramm, das Details eines Warnungsbestimmungsprozesses in Fig. 3 zeigt; 

Fig. 5A und 5B sind Darsteilungen, die jeweils Halbtonabschnitte als schraffierte Bereiche zeigen, welche bei der Er- 
iauterung von Graustufenbildern nutzlich sind, die durch Infrarotkameras erhalten werden, wobei: 55 

Fig. 5A ein rechtes Bild zeigt, das durch eine rechte der Infrarotkameras erhalten wird; 

Fig. 5B ein linkes Bild zeigt, das durch eine linke derselben erhalten wird; 

Fig. 6 ist eine Darstellung, die einen schwarzen Bereich als schraffierten Bereich zeigt, welche bei der Eriauterung ei- 
nes Bilds nutzlich ist, das durch Binarisierung eines Graustufenbilds gebildet wird; 

Fig. 7A bis 7C sind Darsteilungen, die bei der Eriauterung eines Prozesses zum Umwandeln binarisierter Bilddaten in 60 
Lauflangendaten und zum Kennzeichnen von Objekten fur eine Identifizierung derselben sind; 

Fig. 8A und 8B sind Darsteilungen, die bei der Eriauterung der Art und Weise nutzlich sind, in der Objekte in Zeitin- 
tervallen verfolgt werden; 

Fig. 9A ist eine Darstellung, die bei der Eriauterung eines Zielbilds in dem rechten Bild nutzlich ist; 

Fig. 9B ist eine Darstellung, die bei der Eriauterung eines in dem linken Bild gesetzten Suchbereichs nutzlich ist; 65 

Fig. 10A und 10B sind Darsteilungen, die bei der Eriauterung einer Korrelationsoperation nutzlich sind, die an Daten 
in dem Suchbereich ausgefuhrt wird; 

Fig. 1 1 A und 1 IB sind Darsteilungen, die bei der Eriauterung einer Methode zur Berechnung einer Parallaxe nutzlich 
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Fig. 12 ist eine Darstelli»?Be bei der Erlauterung einer Methode zum BerechnerW^r Distanz zwischen dem Fahr- 
zeug und dem Objekt basie^BT auf der Parallaxe nutzlich ist; 

Fig. 13A und 13B sind Darstellungen, die fur eine Erlauterung eines bei der vorliegenden Ausfuhrungsform verwen- 
5 deten Koordinatensys terns nutzlich sind; 

Fig. 14 ist eine Darstellung, die bei der Erlauterung einer Wendewinkei-abhangigen Korrektur von Position sdaten ei- 
nes Objekts nutzlich ist; 

Fig. 15 ist eine Darstellung, die die Verlagerung des Objekts in den Bildern aufgrund einer Wendung des Fahrzeugs 
zeigt; 

to Fig. 16 ist eine Darstellung, die bei der Erlauterung einer Methode zum Berechnen eines Relativbewegungsvektors 
nutzlich ist; 

Fig. 17 ist eine Darstellung, die bei der Erlauterung von Bedingungen zur Bestimmung, ob eine Warnung ausgegeben 
werden soli oder nicht, nutzlich ist; 

Fig. 18 ist eine Darstellung, die bei der Erlauterung von Teiibereichen vor dem Fahrzeug nutzlich ist; 
15 Fig. 1 9 ist eine Darstellung, die bei der Erlauterung eines Falls nutzlich ist, in welchem eine Kollision leicht stattfinden 
kann; 

Fig. 20 ist eine Darstellung, die nutzlich ist bei der Erlauterung einer Methode einer EintrittsobjektkoUisionsbestim- 
mung, die von einer Breite des Fahrzeugs abhangig ist; 

Fig. 21 A zeigt einen Zustand, in dem ein Bildschirm eines Head-up-Displays nicht angezeigt wird; und 
20 Fig. 2 IB zeigt einen Zustand, in dem ein Bildschirm des Head-up-Displays angezeigt wird. 

DETAJLLEERTE BESCHREIBUNG 

Die Erfindung wird nun im Detail mit Bezug auf Zeichnungen beschrieben, die eine Ausfuhrungsform derselben zei- 
25 gen. 

Es wird zunachst auf Fig. 1 Bezug genommen. Hier ist die Anordnung eines Fahrzeugumgebungsuberwachungssy- 
stems gemaB der Ausfuhrungsform der Erfindung gezeigt, die aufweist: zwei zum Erfassen von Fern-Infrarotstrahlung 
geeignete rechte und linke Infrarotkameras 1R, 1L, einen Gierratensensor 5 zum Erfassen einer Gierrate des Fahrzeugs, 
einen Fahrzeuggeschwindigkeitssensor 6 zum Erfassen einer Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) VCAR 

30 des Fahrzeugs, einen Bremssensor 7 zum Erfassen eines BetriebsausmaBes einer Bremse, nicht gezeigt, eine Bildverar- 
beitungseinheit 2 zum Erfassen eines Objekts, wie eines Tieres oder dergleichen, vor dem Fahrzeug, basierend auf Bild- 
daten, die durch die obigen Kameras 1R, 1L erhalten werden, und zum Warnen des Fahrers, wenn es eine bedeutende 
Moglichkeit einer Kollision mit dem Objekt gibt, einen Lautsprecher 3 zum Erzeugen eines Sprachalarms zum Warnen 
des Fahrers und ein Head-up-Display (nachfolgend als das "HUD" bezeichnet) 4 zum Anzeigen eines durch die Kamera 

35 1R oder 1L erhaltenen Bilds und um zu bewirken, daB der Fahrer das Objekt mit der bedeutenden Moglichkeit einer Kol- 
lision mit dem Fahrzeug erkennt. 

Wie es in Fig. 2 gezeigt ist, sind die Kameras 1R, 1L in einem vorderen Teil des Kraftfahrzeugs 10 an Stellen ange- 
ordnet, die symmetrisch zu der Langsmittelachse des Fahrzeugs 10 sind, und derart fest an dem Fahrzeug befestigt, daB 
die zwei Kameras zueinander parallele optische Achsen und gleiche Hohen von einer StraBenoberflache besitzen. Die In- 

40 frarotkameras 1R, 1L besitzen eine Charakteristik derart, daB der Ausgangssignalpegel groBer wird (die Luminanz eines 
Bilds eines Objekts steigt), wenn die Temperatur des Objekts groBer wird. 

Die Bildverarbeitungseinheit 2 urnfaBt eine A/D-Wandlerschaltung zum Umwandeln eingegebener Analogsignale in 
Digitalsignale, einen Bildspeicher zum Speichern digitalisierter Bildsignale, eine CPU (Central Processing Unit) zum 
Ausfuhren arithmetischer Operationen, einen RAM (Random Access Memory), der durch die CPU zum Speichern von 

45 Daten verwendet wird, die mit den arithmetischen Operationen verarbeitet werden, einen ROM (Read Only Memory), 
der durch die CPU ausgefuhrte Programme, Tabellen und Karten speichert, und eine Ausgangsschaltung zum Ausgeben 
von Ansteuersignalen fur den Lautsprecher 3, Anzeigesignalen fur das HUD 4 und dergleichen. Ausgangssignale von 
den Kameras 1R, 1L und den Sensoren 5 bis 7 werden in Digitalsignale umgewandelt und der CPU eingegeben. 

Wie es in Fig. 2 gezeigt ist, ist das HUD 4 derart angeordnet, daB ein Bildschirm 4a desselben in einem Vorderfenster 

50 an einer S telle vor dem Fahrer angezeigt wird. 

Fig. 3 ist ein RuBdiagramm, das eine durch die Bildverarbeitungseinheit 2 ausgefuhrte Verarbeitungsprozedur zeigt. 
Zunachst werden die Ausgangssignale von den Kameras 1R, 1L durch die A/D-Wandlerschaltung einer A/D-Wandlung 
unterzogen und die resultierenden Digitaldaten in dem Bildspeicher gespeichert (Schritte Sll, S12, SI 3). Daten von Bil- 
dern, die in dem Bildspeicher gespeichert sind, sind Daten von Graustufenbildern, umfassend Luminanzinforrnation. Die 

55 Fig. 5A und 5B sind Darstellungen zur Erlauterung von Graustufenbildern, die durch die jeweiligen Kameras 1R, 1L er- 
halten werden (ein rechtes Bild durch die Kamera 1R und ein linkes Bild durch die Kamera 1L). Schraffierte Bereiche in 
den rechten und linken Bildern sind Halbton (Grau)-Bereiche, wohingegen durch dicke durchgezogene Linien umgebene 
Bereiche Bereiche mit einem hohen Luminanzpegel (mit einer hohen Temperatur) sind, welches Bereiche (nachfolgend 
als "Hochluminanzbereiche" bezeichnet) der erfaBten Objekte sind, die in weiB auf dem Bildschirm angezeigt werden. In 

60 dem rechten Bild und dem linken Bild wird ein identisches Objekt in Form von Bildern angezeigt, die an jeweiligen, ho- 
rizontal gegeneinander versetzten Stellen angezeigt werden, so daB es moglich ist, eine Distanz von dem Fahrzeug 10 zu 
dem Objekt basierend auf dem Versatz (Parallaxe) zu berechnen. 

In dem Schritt S14 in Fig. 3 wird das rechte Bild als ein Referenzbild gesetzt und die fur das Referenzbild reprasenta- 
tiven Digitalbilddaten werden derart binarisiert (in 1-Bit-Daten umgewandelt), daB ein Bereich mit einem Pegel der Lu- 

65 minanz, der gleich oder groBer als eine Luminanzschwelle ITH ist, die experimentell bestimmt ist, auf "1" (weiB) gesetzt 
wird, und ein Bereich mit einem Pegel der Luminanz, der niedriger als die Schwelle ITH ist, auf "0" (schwarz) gesetzt 
wird. Fig. 6 zeigt ein durch Binarisierung des Bilds von Fig. 5A erhaltenes Bild. In der Figur stellt ein schraffierter Be- 
reich einen schwarzen Bereich dar, wohingegen durch dicke durchgezogene Linien umgebene Bereiche (Hochluminanz- 
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bereiche) jeweilige weiBeBAwche reprasentieren. 

•In dem nachfolgenden £^^VS15 werden die binarisierten Bilddaten in LauflangSHen codiert. Fig. 7A ist eine Dar- 
stellung zur Erlaaterung de^Rdierprozesses. In der Figur sind Bereiche, die durch die obige Binarisierung auf weiB ge- 
setzt sind, durch Linien LI bis L8 dargesteilt, welche jeweilige Pixellinien angeben. Obwohldie Linien LI bis L8 jeweils 
eine Breite von einem Pixel in der y-Richtung besitzen und tatsachlich Seite-an-Seite ohne irgendwelche Liicken in der 5 
y-Richtung angeordnet sind, sind sie der Klarheit der Beschreibung halber als separate Linien gezeigt, die voneinander 
getrennt sind. Die Linien LI bis L8 besitzen ferner jeweilige Langen von zwei Pixeln, zwei Pixeln, drei Pixeln, acht Pi- 
xeln, sieben Pixeln, acht Pixeln, acht Pixeln und acht Pixeln in der x-Richtung. Die Lauflangendaten reprasentieren jede 
der Linien LI bis L8 durch Koordinaten des Startpunkts (Punkt des linken Endes) der Linie und der Lange (die Anzahl 
von Pixeln) der Linie von dem Startpunkt zu dern Endpunkt (Punkt des rechten Endes) derselben. Beispielsweise ist die to 
Linie L3 aus drei Pixeln (x3, y5), (x4, y5) und (x5, y5) gebildet und wird durch die Lauflangendaten (x3, y5, 3) repra- 
senuert. 

In Schritten S16 und S17 wird ein Objekt extrahiert durch Kennzeichnen desselben, wie es in Fig. 7B gezeigt ist. Dies 
bedeutet, von den in die Lauflangendaten codierten Linien LI bis L8 werden die in der y-Richtung uberlappenden Linien 
LI bis L3 als ein Objekt 1 betrachtet und die in der y-Richtung uberlappenden Linien L4 bis L8 als ein Objekt 2 betrach- 15 
tet, wobei Objektkennungen 1 und 2 den Lauflangendaten hinzugefugt werden. Diese Verarbeitung ermoglicht es z. B., 
daB die in Fig. 6 erscheinenden Hochluminanzbereiche jeweils als Objekt 1 bis 4 begriffen werden. 

In einem Schritt SI 8, wie es in Fig. 7C gezeigt ist, werden der Flachenschwerpunkt G eines extrahierten Objekts (Bild 
eines Objekts), die Flache S des extrahierten Objekts und das Seitenverhaltnis ASPECT eines das extrahierte Objekt um- 
schreibenden Rechtecks, angegeben durch gestrichelte Linien, berechnet. Die Flache S wird durch Integrieren der Lan- 20 
gen der Lauflangendaten eines identischen Objekts berechnet. Die Koordinaten des Flachenschwerpunkts G werden be- 
rechnet als die x-Koordinate einer Linie, die die Flache S langs der y-Richtung half tig teilt, und die y-Koordinate einer 
Linie, die die Flache S langs der x-Richtung halftig teilt. Das Seitenverhaltnis ASPECT wird als Dy/Dx berechnet, wel- 
ches ein Verhaltnis von Dy zu Dx ist, wie es in Fig. 7C dargesteilt ist. Es ist zu bemerken, daB die Position des Flachen- 
schwerpunkts des umschreibenden Rechtecks anstatt des Flachenschwerpunkts G des extrahierten Objekts verwendet 25 
werden kann. 

In einem Schritt S19 werden Objekte in Zeitintervallen verfolgt, d. h. es wird eine Identifizierung oder Erkennung 
identischer Objekte ausgefuhrt, jedesmal dann, wenn jede Abstastwiederholperiode ablauft. Unter der Annahme, daB 
eine durch Diskretisieren einer Zeit t als eine AnaloggroBe mit einer Abtastwiederholperiode erhaltene Zeit durch k aus- 
gedriickt wird, werden zu der Zeit k extrahierte Objekte 1 und 2, wie es in Fig. 8 A gezeigt ist, und zu der Zeit (k + 1) ex- 30 
trahierte Objekte 3 und 4, wie es in Fig. 8B gezeigt ist, hinsichtlich ihrer Identitat iiberpruft. Im besonderen wird be- 
stimmt, daB die Objekte 3 und 4 identisch mit den entsprechenden Objekten 1 und 2 sind, wenn die folgenden Identifi- 
zierungsbedingungen (1) bis (3) erfullt sind, und die Objekte 3 und 4 werden als Objekte 1 und 2 gekennzeichnet, um da- 
durch die Objekte in Zeitintervallen zu verfolgen: 

35 

(1) Unter der Annahme, daB die Positionskoordinaten des Flachenschwerpunkts von Objekten i (= 1, 2) in einem 
Bild zur Zeit k ausgedruckt werden durch (xi(k), yi(k)) und die Positionskoordinaten des Flachenschwerpunkts von 
Objekten j (= 3, 4) in einem Bild zur Zeit (k + 1) ausgedruckt werden durch (xj(k + 1), yj(k 4- 1)), so sind die fol- 
genden Bedingungen erfullt: 

40 

lxj(k + 1) - xi(k)l < Ax, und 
lyj(k+l)-yi(k)l<Ay, 

wobei Ax und Ay maximal zulassige Werte fur jeweilige Distanzen darstellen, die durch das in dem Bild in der x- 45 
Richtung und der y-Richtung sich bewegenden Objekts iiberstrichen werden. 

(2) Unter der Annahme, daB die Flachen der Objekte i (= 1, 2) in dem Bild zur Zeit k ausgedruckt werden durch 
Si(k) und die Flachen der Objekte j (= 3, 4) in dem Bild zur Zeit (k + 1) ausgedruckt werden durch Sy(k + 1), so ist 
die foigende Bedingung erfullt: 

50 

Sj(k+l)/Si(k)<l±AS 

wobei AS einen maximal zuiassigen Wert fur eine Anderung der Flache darstellt. 

(3) Unter der Annahme, daB die Seitenverhaltnisse von Rechtecken, welche die Objekte i (= 1, 2) zur Zeit k um- 
schreiben, ausgedruckt werden durch ASPECT i(k) und die Seitenverhaltnisse der Rechtecke, welche die Objekte j 55 
(= 3, 4) zur Zeit (k + 1) umschreiben, ausgedruckt werden durch ASPECT j(k + 1), so ist die foigende Bedingung er- 
fullt: 

ASPECT j(k + 1)/ASPECT i(k) < 1 ± AASPECT 

60 

wobei AASPECT einen maximal zuiassigen Wert fur eine Anderung des Seitenverhaltnisses darstellt. 

Vergleicht man die Fig. 8A und Fig. 8B, so ist die GroBe jedes Objekts in Fig. 8B vergroBert, jedoch erfiillen die Ob- 
jekte 1 und 3 die obigen Identifizierungsbedingungen und erfiillen die Objekte 2 und 4 die obigen Identifizierungsbedin- 
gungen. Somit konnen die Objekte 3 und 4 als die jeweiligen Objekte 1 und 2 identifiziert werden. Die Positionskoordi- 65 
naten (des Flachenschwerpunkts) jedes somit identifizierten Objekts werden als Zeitreihendatenelemente von Positions- 
daten in dem Speicher gespeichert und zum Ausfuhren nachfolgender arithmetischer Operationen verwendet. 

Es ist zu bemerken, daB die oben erwahnten Prozesse in den Schritten S 14 bis S 19 an dem binarisierten Referenzbild 
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v^jjfcenden Ausfuhrungsform) ausgefiihrt werden. 
1 ij^^Rverden die durch den Fahrzeuggeschwindigkeitssens^ro e; 
■ch^^Gierratensensor 5 erfafite Gierrate YR zur Integration der ( 



(dem rechten Bild in der vo 

In einem <Schritt S20 in ij^^Blverden die durch den Fahrzeuggeschwindigkeitssens^^TerfaBte Fahrzeuggeschwindig- 
keit VCAR sowieMie durch^ra Gierratensensor 5 erfafite Gierrate YR zur Integration der Gierrate YR uber die Zeit ein- 
gelesen, wodurch der Winkel Or der Wendung des Kraftfahrzeugs 10 (siehe Fig. 14) berechnet wird. 

5 Andererseits wird in Schritten S31 bis S33 eine Operation zum Berechnen einer Distanz z zwischen dem Objekt und 
dem Kraftfahrzeug 10 paralleLzu den Prozessen in den Schritten S19 und S20 ausgefiihrt. Diese arithmetische Operation 
benotigt eine langere Zeitperiode als die Prozesse in den Schritten S19 und S20, und wird deshalb mit einer langeren 
Wiederholperiode ausgefiihrt als derjenigen der Prozesse in den Schritten SI 9 und S20 (ungefahr dreimal so lang wie die 
Wiederholperiode der Ausfuhrung der Prozesse von Schritt Sll bis Schritt S20). 

10 In dem Schritt S31 wird eines der unter Verwendung des binarisierten Bilds des Referenzbilds (rechtes Bild) verfolg- 
ten Objekts ausgewahlt, wobei, wie es in Fig. 9 A gezeigt ist, ein Zielbild Rl (in diesem Beispiel wird die ganze durch ein 
umbeschriebenes Rechteck umschlossene Flache als ein Zielbild gesetzt) aus dem rechten Bild extrahiert. In dem folgen- 
den Schritt S32 wird ein Suchbereich zum Durchsuchen eines Bilds (nachfolgend als das "korrespondierende Bild" be- 
zeichnet), welches dem Zielbild entspricht, in dem linken Bild gesetzt und es wird das korrespondierende Bild durch 

15 Ausfuhren einer Korrelationsoperation extrahiert. Im besonderen, wie es in Fig. 9B gezeigt ist, wird ein Suchbereich R2 
in dem linken Bild basierend auf den Koordinaten jedes Eckpunkts des Zielbilds Rl gesetzt, und es wird der Gesamtsum- 
menwert C(a, b) von Luminanzdifferenzen berechnet, die einen Grad der Korrelation mit dem Zielbild Rl angeben, wie 
an Daten im Suchbereich R2, unter Verwendung der nachfolgenden Gleichung (1), wobei eine Flache, die den Minimal- 
wert des Gesamtsummenwerts C(a, b) liefert, als das Korrespondenzbild extrahiert wird. Es ist zu bemerken, daB die 

20 Korrelationsoperation nicht unter Verwendung von Daten des binarisierten Bilds (Binardaten), sondern unter Verwen- 
dung von Daten der Graustufenbilder (Graustufendaten) ausgefuhrt wird. Ferner, wenn in der Vergangenheit erhaltene 
Positionsdaten eines identischen Objekts verfugbar sind, so wird ein Bereich R2a (in Fig. 9B durch gestrichelte Linien 
gezeigt), der schmaier als der Suchbereich R2 ist, als der Suchbereich basierend auf den Positionsdaten eingestelit. 

N-l M-l 

25 C(a,b)= 2 2 | IL(a+m-M, b+n-N)-IR(m, n) | (1) 
n=0 m=0 

wobei IR(m, n) einen Luminanzwert einer durch Koordinaten (m, n) in dem in Fig. 10 dargestellten Zielbild Rl angege- 
benen Position darstellt, und EL(a + m - M, b + n- N) einen Luminanzwert einer durch Koordinaten (m, n) in einem lo- 
30 kalen Bereich R3 angegebenen Position darstellt, weiche die gleiche Form besitzt, wie diejenige des Zielbilds Rl mit ei- 
nem Referenzpunkt (Ursprung seines eigenen Koordinatensystems), der in den Suchbereich R2 auf Koordinaten (a, b) 
gesetzt wird. Eine Position, die den Gesamtsummenwert C(a, b) der Luminanzdifferenzen minimiert, wird durch Andern 
der Koordinaten (a, b) des Referenzpunkts erhalten, wodurch die Position des Korrespondenzbilds bestimmt werden 
kann. 

35 Nachdem im Schritt S32 das Zielbild Rl und das korrespondierende Bild R4, welches diesem Zielbild Rl entspricht, 
wie es in den Fig. 11 A und 11B gezeigt ist, extrahiert sind, werden dann im Schritt S33 eine Distanz dR (Anzahl von Pi- 
xeln) zwischen dem Flachenschwerpunkt des Zielbilds Rl und einer Mittellinie LCTR des rechten Bilds sowie eine Di- 
stanz dL (die Anzahl von Pixeln) zwischen dem Flachenschwerpunkt des Korrespondenzbilds R4 und einer Mittellinie 
LCTR des linken Bildes bestimmt und fur die folgende Gleichung (2) verwendet, um eine Distanz z zwischen dem Kraft- 

40 fahrzeug 10 und dem Objekt zu berechnen. 

BXF BXF (2| 

CdL+dR)Xp AdXp 

45 

wobei B die Lange einer Basislinie bezeichnet, d. h. eine horizontale Distanz (in der x-Richtung) zwischen der Mittelpo- 
sition eines Abbildungselements 11R der Kamera 1R und der Mittelposition eines Abbildungselements 11L der Kamera 
1L (d. h. Distanz zwischen den optischen Achsen der jeweiligen Kameras), wie es in Fig. 12 gezeigt ist; wobei F die fo- 
kale Distanz der Linsen 12R, 12L bezeichnet; wobei p ein Raumintervall zwischen Pixeln in den Abbildungselementen 
50 11R, 11L bezeichnet; und wobei Ad(= dR + dL) das AusmaB der Parallaxe darstellt. 

In dem Schritt S21 werden Koordinaten (x, y) in dem Bild sowie die unter Verwendung der Gleichung (2) berechnete 
Distanz z fiir die folgenden Gleichungen (3) fiir eine Umwandlung in Echtraumkoordinaten (X, Y, Z) verwendet. Das 
Koordinatensystem der Echtraumkoordinaten (X, Y, Z) (Echtraumkoordinatensystem) ist hierbei wie in Fig. 13A gezeigt 
definiert, wobei die Position eines Mittelpunkts (an dem Kraftfahrzeug 10 feste Position) von Anbringungspositionen, an 
55 welchen die Kameras 1R, 1L angebracht sind, als ein Ursprung O des Echtraumkoordinaten systems gesetzt, und Koor- 
dinaten in einem Koordinatensystem eines Bilds (imaginares Bild, auf das nachfolgend Bezug genornmen wird), welches 
dem Echtkoordinatensystem entspricht, werden wie in Fig. 13B gezeigt definiert, wobei das Zentrum des Bilds als der 
Ursprung des Koordinatensystems gesetzt wird, welches dem Echtraumkoordinatensystem entspricht, wobei die hori- 
zontale Richtung als die x-Richtung definiert wird und die vertikale Richtung als die y-Richtung definiert wird. 
60 _ 
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In diesen Gleichungen wjtf^ (xc, yc) durch Umwandeln der Koordinaten (x, y) i^^Ri Koordinatensystem des reen- 
ter Bilds in- Koordinaten ir^^Brdinatensystem des imaginaren Bilds erhalten, dessen^entrum zur Koinzidenz mit dem 
Ursprung O des EehtraumkoBhnatensystems gebracht wird, basierend auf der relativen Beziehung der Anbringungspo- 
sition der Kamera 1R und dem Ursprung O des Echtraumkoordinatensystems. Ferner stelit f ein Verhaltnis zwischen der 
fokalen Distanz F und dem Pixel-zu-Pixel-Raumintervall p dar. 

In einem Schritt S22 wird eine Wendewinkel-abhangige Korrektur der Positionsdaten jedes Objekts ausgefuhrt durch 
Kompensieren einer Positionsverlagerung des Objekts in dem Bild aufgrund einer Wendung des Fahrzeugs 10 entspre- 
chend dem Wendungswinkel. Unter der Annahme, daB das Fahrzeug 10 wendet, wie es in Fig. 14 gezeigt ist, z. B. in ei- 
ner Richtung nach links iiber einen Winkel 9r der Wendung wahrend einer Zeitperiode von einer Zeit k zu einer Zeit (k + 
1), so wird ein durch die Kamera erhaltenes Bild um Ax in der x-Richtung versetzt, wie es in Fig. 15 gezeigt ist. Die Wen- 
dewinkel-abhangige Korrektur im Schritt S22 wird ausgefuhrt, um die Verlagerung des Bilds zu kompensieren. Im be- 
sonderen werden die Echtraumkoordinaten (X, Y, Z) fur die folgende Gleichung (4) verwendet, um korrigierte Koordi- 
naten (Xr, Yr, Zr) zu berechnen. Somit berechnete Echtxaumpositionsdaten (Xr, Yr, Zr) werden in einer zu jedem korre- 
spondierenden Objekt korrelierten Weise in dem Speicher gespeichert. Ferner werden die korrigierten Koordinaten in der 
folgenden Beschreibung als Koordinaten (X, Y, Z) bezeichnet. 



(4) 



In einem Schritt S23, wie es in Fig. 16 gezeigt ist, wird eine Naherungsgerade LMV, die einem Relativbewegungsvek- 
tor zwischen einem identischen Objekt und dem Kraftfahrzeug 10 entspricht, basierend auf N Echtraumpositionsdaten- 
datenelementen erhalten, d. h. Zeitreihenpositionsdaten (N ist beispielsweise eine Zahl gleich oder ungefalir 10) nach der 
Wendewinkel-abhangigen Korrektur, die wahrend einer Zeitperiode AT erhalten werden. Im besonderen, unter der An- 
nahme, daB ein die Richtung der Naherungsgeraden LMV angegebender Richtungsvektor ausgedriickt wird durch L = 
(Ix, iy, ly) (ILI = 1), wird eine durch die folgenden Gleichungen (5) dargestellte Gerade bestimmt: 
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(5) 
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Zav= 2 Z(j)/N 45 

wobei u einen Parameter darstellt, der einen beiiebigen Wert besitzen kann, und Xav, Yav und Zav den Mittelwert von X- 
Koordinaten, den Mittelwert von Y- Koordinaten bzw. den Mittelwert von Z-Koordinaten von Reihen von Echtraumpo- 
sitionsdaten darstellen. Ferner, falls der Parameter u aus den Gleichungen (5) eliminiert wird, so wird die folgende Glei- 
chung (5a) erhalten: 50 

(X-Xav)Ax = (Y-Yav)/ly = (Z-Zav)/lz (5a) 



Fig. 16 ist eine Darsteliung, die die Naherungsgerade LMV veranschaulicht. In dieser Figur bezeichnen P(0), P(l), 
P(2), . . P(N - 2), P(N - 1) Punkte, die durch jeweilige Zeitreihenpositionsdatendatenelemente (Datenpunkte) nach der 55 
Wendewinkel-abhangigen Korrektur angegeben werden. Die Naherungsgerade LMV wird als eine Gerade bestimmt, die 
sich durch die mittleren Positionskoordinaten Pav (= Xav, Yav, Zav) der Zeitreihenpositionsdatendatenelemente erstreckt 
und einen Mittelwert der Quadrate der jeweiligen Distanzen zwischen der Linie und den Datenpunkten minimiert. Ein je- 
dem P, welches die Koordinaten jedes Datenpunkts (Positionskoordinaten) angibt, in Klammern hinzugefiigter numeri- 
scher Wert gibt hier an, daB das Datendatenelement mit dem numerischen Wert umso alter ist, je groBer der numerische 60 
Wert ist. Beispielsweise gibt P(0) die letzten Positionskoordinaten an, gibt P(l) die eine Abtastwiederholperiode friiher 
erhaltenen Positionskoordinaten an und gibt P(2) die zwei Abtastwiederholperioden friiher erhaltenen Positionskoordi- 
naten an. Das gleiche gilt fur D(j), X(j), Y(j), Z(j) und dergleichen, auf die spater Bezug genommen wird. 

Im besonderen werden innere Produkte s des Vektors D(j) = (DX(j), DY(j), DZ(j)) = (X(j) - Xav, Y(j) - Yav, Z(j) - 
Zav), der sich von den mittleren Positionskoordinaten Pav zu den Koordinaten P(0) bis P(N - 1) der jeweiligen Daten- 65 
punkte erstreckt, und einem Richtungsvektor L durch die folgende Gleichung (6) berechnet, und es wird der Richtungs- 
vektor L = (lx, ly, lz), der die Varianz des inneren Produkts s maximiert, bestimmt: 
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s = lx • DX(j) + ly • DY. 
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• DZ(j) (6) 



Eine yarianz-Kovarianz^TOnrix V der Koordinaten bei den jeweiligen Datenpunkten wird durch die folgende Glei- 
chung (7) dargestellt. Da ein charakteristischer Wert o" fur diese Varianz-Kovarianz-Matrix V der Varianz der inneren 
Produkte s entspricht, wird ein aus der Matrix berechneter, dem groBten der drei charakteristischen Werte entsprechender 
charakteristischer Vektor der Richtungsvektor L, der erhalten werden soil. Es ist zu bemerken, daB zum Berechnen cha- 
rakteristischer Werte und eines charakteristischen Vektors aus der Matrix der Gleichung (7) eine als Jacobische Methode 
bekannte Methode verwendet wird (z. B. beschrieben in "Suuchi-Keisan Handbook (Handbook of Numeral Calculus)" 
(veroffentlicht durch Ohmsha, Ltd, Tokio, Japan)). 
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(7) 



Als nachstes werden die letzten Positionskoordinaten P(0) = (X(0), Y(0), Z(0)) und die (N - 1) Abtastwiederholperi- 
oden (ZeitperiodeAT) friiher erhaltenen Positionskoordinaten P(N- 1) =(X(N- 1), Y(N- 1),Z(N- l))derart korrigiert, 
daB deren Positionen auf der Naherungsgeraden LMV liegen. Im besonderen werden durch Verwendung der Z- Koordi- 
naten Z(0), Z(N - 1) fur die oben erwahnte Gleichung (5a), d. h. durch Verwendung der folgenden Gleichungen (8) kor- 
rigierte Positionskoordinaten Pv(0) = (Xv(0), Yv(0), Zv(0)) sowie korrigierte Positionskoordinaten Pv(N - 1) = (Xv(N - 
1), Yv(N - 1), Zv(N - 1)) berechnet. 



XvG) = (ZG)-Zav)X-^- 
YvG) = (ZG)~Zav)X^- 



35 zvG)=zG) 
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(8) 



Der zuvor erwahnte Relativbewegungsvektor kann als der Vektor erhalten werden, der sich von den Positionskoordi- 
naten Pv(N - 1) zu den Positionskoordinaten Pv(0), berechnet durch die Gleichungen (8) erstreckt. Wie es oben beschrie- 
ben ist, wird eine Naherungsgerade, die die Ortskurve der Relativbewegung eines Objekts zu dem Kraftfahrzeug 10 na- 
hert, basierend auf einer Mehrzahl von (N) Datenelementen von Positionsdaten wahrend einer Uberwachungszeitperiode 
AT berechnet, und basierend auf der Naherungsgeraden ein Relativbewegungsvektor bestimmt. Dies ermoglicht es, eine 
nachteilige Wirkung von Positionserfassungsfehlera zu verringern und die Moglichkeit einer Kollision mit dem Objekt 
vorab genauer abzuschatzen. 

Es wird nun wieder auf Fig. 3 Bezug genommen. In einem Schritt S24 wird ein WarnungsbestirnmungsprozeB (Fig. 4) 
ausgefuhrt durch Bestimmen, ob es eine Moglichkeit fur eine Kollision mit dem erfaBten Objekt gibt oder nicht, und 
Ausgeben einer Warnung, falls es eine bedeutende Moghchkeit fur die Kollision gibt. 

In einem Schritt S41 in Fig. 4 wird eine Relativgeschwindigkeit Vs in der Z-Richtung mittels der folgenden Gleichung 
(9) berechnet. Wenn die folgenden Ausdriicke (10) und (11) erfullt sind, so wird bestimmt, daB es eine Moglichkeit fur 
eine Kollision gibt, und das Programm schreitet zu einem Schritt S42. Falls der Ausdruck (10) und/oder der Ausdruck 
(11) nicht erfullt ist, wird der WarnungsbestirnmungsprozeB beendet. 

Vs = (Zv(N-l)-Zv(0))/AT (9) 

Zv(0)/Vs<T (10) 

IYv(0)l<H (11) 

In den obigen Ausdrucken stellt Zv(0) den zuletzt erfaBten Distanzwert dar (obwohl v dem Symbol hinzugefugt 
wurde, um anzugeben, daB das Symbol einen Wert eines Datenelements darstellt, das unter Verwendung der Naherungs- 
geraden LMV korrigiert wurde, besitzt die Z-Koordinate selbst den gleichen Wert, den sie vor der Korrektur besaB) und 
stellt Zv(N - 1) einen eine Zeitperiode AT friiher erfaBten Distanzwert dar. Ferner stellt T eine Voreilzeit dar, die dazu 
vorgesehen ist, ein Bestimmen der Moglichkeit einer Kollision eine Zeitperiode T vor einer abgeschatzten Kollisionszeit 
zu ermoglichen. T ist auf eine Zeitperiode in einem Bereich von z. B. zwei bis funf Sekunden eingestellt. Ferner stellt H 
eine vorbestirnmte Hone zur Definition einer Reichweite in der Y-Richtung dar, d. h. in der Richtung der Hohe, die z. B. 
auf eine Hohe von ungefahr der zweifachen GroBe des Kraftfahrzeugs 10 eingestellt wird. 

Die in dem Ausdruck (10) enthaltene Beziehung kann durch Fig. 17 dargestellt werden. Wenn der Relativgeschwin- 
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digkeit Vs und der DistanzJ^tt), die beide erfaBt oder berechnet sind, entsprechend^^fcrdinaten in einem schraffierten 
Bereich in der Figur liege^^Bgleichzeitig IYv(0)l < H gilt, so werden in den SchSIro S42 ff. Bestimmungsprozesse 
ausgefuhrt. " 

In Fig. 18 ist em Bereich, der durch die Kameras 1R, 1L uberwacht werden kann, durch einen Bereich ARO dargestellt, 
der durch ein durch dicke durchgehende Linien angegebenes auBeres Dreieck bestimmt ist. In dem Bereich ARO sind Be- 5 
reiche AR1 , AR2 und AR3 als Warnungsbestimmungsbereiche gesetzt, die dem Kraftfahrzeug 10 naher sind als Zl = Vs 
x T (Fahrzeuggeschwindigkeit x Voreilzeit). Hierbei ist der Bereich AR1 ein einer Reichweite entsprechender Bereich, 
umfassend die Breite a des Kraftfahrzeugs 10 und Zuschlage P, P (die jeweils einen Wert von z. B. 50 bis 100 cm besit- 
zen), die an entgegengesetzten Seiten des Fahrzeugs 10 vorgesehen sind, mit anderen Worten, ein Bereich mit einer 
Breite von (a/2 + P) auf jeder Seite der Mittelachse in der Langsrichtung des Fahrzeugs 10. Falls das Objekt in diesem 10 
Bereich vorhanden bleibt, gibt es eine sehr bedeutende Moglichkeit einer Kollision mit dem Fahrzeug 10. Daher wird 
dieser Bereich nachfolgend als der •'Nalierungsobjektbestimmungsbereich'' bezeichnet. Die Bereiche AR2, AR3 sind Be- 
reiche, die X-Koordinaten mit groBeren Absolutwerten als diejenigen der X-Koordinaten in dem Naherungsobjektbe- 
stimmungsbereichs aufweisen (Bereiche seitlich auBerhalb des Naherungsobjektbestimmungsbereich). Ein Objekt in ei- 
nem dieser Bereiche AR2 und AR3 wird einem nachfolgend beschriebenen EintrittsobjektkollisionsbestimmungsprozeB 15 
fur ein Bestimmen der Moglichkeit einer potentiellen Kollision eines eintretenden Objekts unterzogen. Diese Bereiche 
AR2 und AR3 werden als die "Eintrittsobjektbestimmungsbereiche" bezeichnet. Ferner besitzen die obigen Bereiche die 
vorbestimmte Hone H in der Y-Richtung, wie es in dem Ausdruck (11) angegeben ist. 

Die Antwort auf die Frage von Schritt S41 wird bestatigend (Ja), wenn das Objekt in dem Naherungsobjektbestim- 
mungsbereich AR1 oder in einem der Eintrittsobjektbestimmungsbereiche AR2, AR3 vorliegt. 20 

In dem nachfolgenden Schritt S42 wird bestimmt, ob das Objekt in dem Naherungsobjektbestimmungsbereich AR1 
vorliegt oder nicht. Falls die Antwort auf die Frage von Schritt S42 bestatigend (Ja) ist, schreitet das Programm unmit- 
telbar zu einem Schritt S44, wohingegen in dem Fall, in dem die Antwort negativ (Nein) ist, in einem Schritt S43 der Ein- 
trittsobjektkollisionsbestimmungsprozeB zum Bestimmen der Moglichkeit einer potentiellen Kollision des eintretenden 
Objekts ausgefuhrt wird. Im besonderen wird bestimmt, ob der folgende Ausdruck (12) durch die DifFerenz zwischen der 25 
letzten x-Koordinate xc(0) (wie oben beschrieben, wird c dem Symbol hinzugefugt, um anzugeben, daB das Symbol die 
x-Koordinate darstellt, welche korrigiert wurde, indem die Mittelposition des Bilds mit dem Ursprung 0 des Echtraum- 
koordinatensy stems zur Koinzidenz gebracht wurde) und einer x-Koordinate xc(N - 1) erfiillt wird oder nicht, die eine 
Zeitperiode AT fruher erhalten wurde. Falls der folgende Ausdruck (12) erfullt ist, so wird bestimmt, daB eines bedeu- 
tende Moglichkeit fur eine Kollision gibt. 30 

^(z^-Z^)*"' 0 '-*^- 1 ' 021 
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Zv(0) Zv(N-l) 

Wie es in Fig. 19 gezeigt ist, falls ein Tier 20 in einer Richtung kommt, die ungefahr orthogonal zu der Richtung der 
Fahrt des Kraftfahrzeugs 10 ist, wenn Xv(N - l)/Zv(N - 1) = Xv(0)/Zr(0) gilt, mit anderen Worten, wenn ein Verhaltnis 40 
Vp/Vs = Xr(N - l)/Zr(N - 1) gilt (Vp ist eine Geschwindigkeit des Tiers 20 und Vs ist eine Relativgeschwindigkeit des 
Fahrzeugs 10), so ist ein Azimuthwinkel 9d des Tiers 20, wie von dem Fahrzeug 10 betrachtet, konstant. In diesem Fall 
gibt es eine bedeutende Moglichkeit fiir eine Kollision. Der Ausdruck (12) wird zum Bestimmen der Moglichkeit ver- 
wendet, in dem die Breite a des Kraftfahrzeugs 10 beriicksichtigt wird. Im folgenden wird eine Methode zum Ableiten 
des Ausdrucks (12) mit Bezug auf Fig. 20 beschrieben. 45 

Wenn eine durch die letzten Positionskoordinaten des Objekts 20 so wie die eine Zeitperiode AT fruher erhaltenen Po- 
sitionskoordinaten desselben sich erstreckende Gerade, d. h. die Naherungsgerade LMV, eine X-Y-Ebene (Ebene umfas- 
send die X-Achse und die Y-Achse, d. h. eine Ebene, die eine dem Vorderende des Fahrzeugs 10 entsprechende Linie (X- 
Achse) enthalt und sich in einer Richtung orthogonal zu der Fahrtrichtung des Fahrzeugs 10 erstreckt) schneidet, falls die 
X-Koordinate des Schnittpunkts davon durch XCL ausgedriickt wird, so sind Kollisionsauftrittsbedingungen, in denen 50 
die Breite a des Fahrzeugs 10 beriicksichtigt wird, durch den folgenden Ausdruck (13) gegeben: 

-a/2 < XCL < a/2 (13) 

Andererseits ist eine durch Projizieren der Naherungsgeraden LMV auf eine X-Z-Ebene gebildete Gerade durch die 55 
folgende Gleichung (14) gegeben: 

Wenn Z = 0, X = XCL in dieser Gleichung substituiert werden, um XCL zu berechnen, so erhalt man die folgende 
Gleichung (15): 

Xv(0)/Zv(0)-Xv(N-l)/Zv(N-l) 
XCL ~ l/Zv(0)-l/Zv(N-l) (15) 

Ferner, da die Echtraumkoordinate X sowie die Koordinate xc auf dem Bild eine durch die obige Gleichung (3) ange- 
gebene Beziehung besitzen, gelten die folgenden Gleichungen (16) und (17): 
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Xv(0) = xc(0)xZv(0)/f 

4 

Xv(N-l)=xc(N-l)xZv(N-l)/f (17) 

5 

Wenn die obigen Gleichungen (16) und (17) bei der Gleichung (15) verwendet werden, so wird die X-Koordinate XCL 
des Schnittpunkts durch die folgende Gleichung (18) angegeben: 

xc(0)/f-xc(N-l)/f 
10 XCL " l/Zv(0)-l/Zv(N-l) H8) 

Durch Substituieren von XCL in den Ausdruck (13) werden die durch den obigen Ausdruck (12) definierten Bedin- 
gungen erhalten. 

Es wird wieder auf Fig. 4 Bezug genommen. Wenn bei einem Schritt S43 bestimmt wird, daB es eine bedeutende Mog- 
15 lichkeit fur eine Kollision gibt, so schreitet das Programm zu einem Schritt S44, wohingegen, wenn bestimmt wird, daB 
es keine bedeutende Moglichkeit einer Kollision gibt, der WamungsbestimmungprozeB beendet wird. 

In dem Schritt S44 wird ein WarnungsausgabebestimmungsprozeB ausgefiihrt, um zu bestimmen, ob eine Warnung 
ausgegeben werden soli oder nicht. Zunachst wird aus einern Ausgangssignal von dem Bremssensor bestimmt, ob der 
Fahrer eine Bremsoperation, d. h. eine Betatigung der Bremse des Fahrzeugs 10, ausfuhrt oder nicht. Falls er die Bremse 
20 nicht betatigt, schreitet das Programm unmittelbar zu einem Schritt S45, um eine Warnung auszugeben. Falls er die 
Bremse betatigt, wird eine durch die Bremsoperation hervorgerufene Verzogerung Gs (als ein positiver Wert) berechnet. 
Wenn die Verzogerung Gs gleich oder kleiner als eine vorbestimmte Schwelle GTH ist, schreitet das Programm zu einem 
Schritt S45, wohingegen, wenn Gs > GTH gilt, bestimmt wird, daB eine Kollision durch die Bremsoperation vermieden 
werden kann, gefolgt von einer Beendigung des Warnungsbestimmungsprozesses. Dies ermoglicht es, zu vermeiden, daB 
25 der Fahrer gewarnt wird, wenn er eine angemessene Bremsoperation ausfuhrt, wodurch verhindert wird, daB der Fahrer 
durch unnotige Warnungen gestort wird. 

Die vorbestimmte Schwelle GTH wird gemaB der folgenden Gleichung (19) eingestellt: 

Vs 2 

GTH = — — r— — (19) 

2XZv(0) 

Die somit bestimmte Schwelle entspricht einer Bedingung zum Anhalten des Fahrzeugs 10 in einer Fahrdistanz gleich 
oder kleiner als die Distanz Zv(0), unter der Annahme, daB die durch die Bremsoperation hervorgerufene Verzogerung 
Gs beibehalten wird. 

35 In einem Schritt S45 wird ein Sprachalarm durch den Lautsprecher 3 erzeugt, und wie es in Fig. 2 IB gezeigt ist, wird 
ein z. B. mittels der Kamera 1R erhaltenes Bild auf dem Bildschirm 4a des HUD 4 derart angezeigt, daB ein sich nahern- 
des Objekt betont angezeigt wird (beispielsweise zur Betonung in einem Rahmen eingeschlossen). Fig. 21 A zeigt einen 
Zustand, in dem der Bildschirm 4a nicht angezeigt wird, wohingegen Fig. 2 IB einen Zustand zeigt, in dem der Bild- 
schirm 4a angezeigt wird. Dies ermoglicht es dem Fahrer, ein Objekt, welches eine bedeutende Moglichkeit einer Koili- 

40 sion mit dem Fahrzeug 10 besitzt, sicher zu erkennen. 

Wie es oben beschrieben ist, werden in der vorliegenden Ausfuhrungsform Positionen eines identischen Objekts in 
dem Echtraum basierend auf einer Mehrzahl von Zeitreihendatenelementen von Positionsdaten des Objekts berechnet 
und der Bewegungsvektor des Objekts wird basierend auf dessen Positionen im Echtraum erhalten. Dann wird die Mog- 
lichkeit einer Kollision zwischen dem Objekt und dem Kraftfahrzeug 10 basierend auf dem somit berechneten Bewe- 

45 gungsvektor derart bestimmt, daB es anders als bei dem herkommlichen System moglich ist, das Auftreten einer fehler- 
haften Bestimmung zu vermeiden und damit die Genauigkeit der Bestimmung der Moglichkeit einer Kollision zu stei- 
gern. 

Ferner wird die Naherungsgerade LMV, welche die Ortskurve der Relativbewegung eines Objekts zu dem Kraftfahr- 
zeug 10 nahert, berechnet, und die Positionskoordinaten des Objekts werden derart korrigiert, daB Positionen des erfaB- 
50 ten Objekts auf der Naherungsgeraden liegen, und der Bewegungsvektor des Objekts wird basierend auf den korrigierten 
Positionskoordinaten erhalten. Dies ermoglicht es, eine nachteiHge Wirkung von Fehlern beim Erfassen der Positionen 
des Objekts zu reduzieren und die Moglichkeit einer Kollision genauer zu bestimmen. 

Da die Bestimmung einer potentiellen Kollision unter Beriicksichtigung der Breite a des Fahrzeugs 10 ausgefiihrt 
wird, ist es ferner moglich, die Moglichkeit einer Kollision genau zu bestimmen und eine unnotige Warnung des Fahrers 
55 zu vermeiden. 

In der vorliegenden Ausfuhrungsform bildet die Bildverarbeitungseinheit 2 Relativpositionserfassurigsmittel, Bewe- 
gungsvektorberechnungsmittel, Bestimmungsmittel und einen Teil von Warnungsmitteln. Insbesondere entsprechen die 
in Fig. 3 auftretenden Schritte S 14 bis S 19 den Relativpositionerfassungsmitteln, entsprechen die Schritte S20 bis S23 in 
der Figur den Bewegungsvektorberechnungsmitteln, entsprechen die Schritte S41 bis S44 in Fig. 4 den Bestimmungs- 
60 mitteln, wie auch der Schritt S45 in Fig. 4 und der Lautsprecher 3 und das HUD 4 den Warnungsmitteln entsprechen. 

Es ist zu bemerken, daB die Erfindung nicht auf die obige Ausfuhrungsform beschrankt ist, sondern verschiedene Va- 
riationen und Modifikationen moglich sind. Obwohl in der vorliegenden Ausfuhrungsform Infrarot-Kameras als Abbil- 
dungsmittei verwendet werden, ist beispielsweise dies nicht einschrankend, sondern es konnten TV-Kameras eingesetzt 
werden, die zum Erfassen lediglich normaler sichtbarer Strahlung geeignet sind, wie es in der japanischen Offenlegungs- 
65 Patent veroffentlichung (Kokai) Nr. 9-226490 offenbart ist. Durch die Verwendung von Infrarot-Kameras kann jedoch 
der ExtraktionsprozeB zum Extrahieren eines Hers oder eines fahrenden Fahrzeugs vereinfacht werden und das System 
unter Verwendung einer arithmetischen Einheit mit vergleichsweise geringen Leistungseigenschaften realisiert werden. 

Obwohl in der obigen Ausfuhrungsform ein Beispiel gezeigt ist, welches einen Frontabschnitt der Umgebung eines 
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ht,jMkt fernerdies nicht beschrankend, sondern das Syste^^Bm 
; d^^pgebung in irgend welch en Richtungen einschlieBlicn^rorn 



Kraftfahrzeugs uberwacht^^Bkt fernerdies nicht beschrankend, sondern das Syste^^Bin derart konfiguriert sein, daB 
irgendwelche Abschnitte d^^^gebung in irgend welch en Richtungen einschlieBlich^^m riickwartigen Abschnitt der- 
selben iiberwachf werden I 

Fiir Fachleute ist es ferner verstandlich, daB das Vorangegangene eine bevorzugte Ausfuhrungsforrn der Erfindung ist 
daB verschiedene Veranderungen und Modifikationen vorgenommen werden konnen, ohne den Sinn und Bereich dersel- 5 
ben zu verlassen. 

Zusammenfassend stellt die Erfindung ein Fahrzeugumgebungsuberwachungssystem fur ein Kraftfahrzeug bereit, 
welches geeignet ist, genau die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und 
die Moglichkeit fur eine Kollision zwischen dern Objekt und dem Fahrzeug zu bestirnmen, und dadurch den Fahrer an- 
gemessen zu wamen. Eine Reiativposition des Objekts zu dern Kraftfahrzeug wird aus dem mittels einer an dem Fahr- 10 
zeug angebrachten Kamera erhaltenen Bild erhalten, um Positionsdaten zu erlangen. Positionen des Objekts in einem 
Echtraum werden basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt erfaBten Positionsda- 
ten berechnet und ein Bewegungsvektor des Objekts wird basierend auf den Positionen im Echtraum berechnet. Es wird 
basierend auf dem Bewegungsvektor bestimmt, ob das Objekt eine bedeutende Moglichkeit fiir eine Kollision mit dem 
Kraftfahrzeug aufweist. 15 

Patentanspruche 

1. Fahrzeugumgebungsuberwachungssystem fiir ein Kraftfahrzeug (10), welches ein in einer Umgebung des Kraft- 
fahrzeugs (10) vorhandenes Objekt aus einem Bild erfaBt, welches mittels an dem Kraftfahrzeug (10) angebrachter 20 
Abbildungsmittel (1R, 1L, 2) erhalten wird, wobei das Fahrzeugumgebungsiiberwachungssystem umfaBt: 
Reiativpositionerfassungsmittel (2, S14 bis S19) zum Erfassen einer Reiativposition des Objekts zu dem Kraftfahr- 
zeug (10) aus dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild, um Positionsdaten zu erlangen; 
Bewegungsvektorberechnungsmittel (2, S20 bis S23) zum Berechnen von Positionen des Objekts in einem Ech- 
traum basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt mittels der Relati vpositioner- 25 
fassungsmittel (2, S14 bis S19) erfaBten Positionsdaten, und zum Berechnen eines Bewegungsvektors des Objekts 
basierend auf den Positionen im Echtraum; und 

Bestimmungsmittel (2, S41 bis S44) zum Bestirnmen, ob das Objekt eine bedeutende Moglichkeit fur eine Kollision 
mit dem Kraftfahrzeug (10) besitzt oder nicht, basierend auf dem Bewegungsvektor. 

2. Fahrzeugumgebungsiiberwachungssystem nach Anspruch 1, wobei die Bewegungsvektorberechnungsmittel Na- 30 
herungsgeradenberechnungsmittel zum Berechnen einer eine Ortskurve der Relati vbewegung des Objekts nahern- 
den Naherungsgeraden (LMV) sowie Positionsdatenkorrekturmittel zum Korrigieren der Zeitreihendatenelemente 
der Positionsdaten unter Verwendung der Naherungsgeraden (LMV) umfassen, wobei die Bewegungsvektorberech- 
nungsmittel (2, S20 bis S23) den Bewegungsvektor basierend auf den korrigierten Zeitreihendatenelementen der 
Positionsdaten berechnen. 35 

3. Fahrzeugumgebungsliberwachungssystem nach Anspruch 1 oder 2, wobei die Bestimmungsmittel (2, S41 bis 
S44) die Bestimmung unter Anwendung von Bedingungen zum Bestirnmen einer potentiellen Kollision ausfuhren, 
wobei die Bedingungen von einer Breite (a) des Fahrzeugs (10) abhangig sind. 

4. Fahrzeugumgebungsuberwachungssystem nach Anspruch 2 oder 3, wobei die Naherungsgeradenberechnungs- 
mittel die Naherungsgerade (LMV) als eine dreidimensionale Gerade umfassend Daten einer Hone des Objekts be- 40 
rechnen. 

5. Fahrzeugumgebungsuberwachungssystem nach einem der Anspruche 1 bis 4, wobei die Abbildungsmittel (1R, 
1L, 2) zwei Infrarot-Kameras (1R, 1L) umfassen, die zum Erfassen von Infrarotstrahlung geeignet sind. 

6. Fahrzeugumgebungsiiberwachungssystem nach einem der Anspruche 1 bis 5, wobei die Abbildungsmittel zwei 
TV-Kameras zum Erfassen von Infrarotstrahlung oder sichtbarer Strahlung umfassen, und wobei die Relativpositio- 45 
nerfassungsmittel (2, S14 bis S19) umfassen: 

Suchbereichsetzmittel zum Setzen, basierend auf einer Position eines in einer Bildausgabe von einer der zwei TV- 
Kameras enthaltenen Objektbilds, eines Suchbereichs in einer Bildausgabe von der anderen der zwei TV-Kameras 
zum Suchen nach einem in der Bildausgabe von der anderen der zwei TV-Kameras enthaltenen korrespondierenden 
Objektbild, 50 
Korrespondenzobjektbildidentifizierungsmittei zum Identifizieren des korrespondierenden Objektbilds durch Aus- 
fuhren einer Korrelationsoperation an Daten in dem Suchbereich, und 

Distanzberechnungsmittei zum Berechnen einer Distanz von dem Fahrzeug (10) zu dem Objekt basierend auf einer 
Parallaxe zwischen dem Objektbild und dem korrespondierenden Objektbild. 

7. Fahrzeugumgebungsuberwachungssystem nach Anspruch 6, wobei die Daten in dem Suchbereich Graustufen- 55 
daten umfassend eine Halbtoninformation sind. 

8. Fahrzeugumgebungsiiberwachungssystem nach Anspruch 7, wobei die Relati vpositionerfassungsmittel Verfol- 
gungsmittel zum Verfolgen eines Objekts, das sich in dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild 
bewegt, unter Verwendung von Binardaten, die durch Binarisieren der Graustufendaten gebildet werden, umfassen. 

9. Fahrzeugumgebungsiiberwachungssystem nach Anspruch 8, wobei die Verfolgungsmittel das verfolgte Objekt 60 
unter Verwendung von Lauflangendaten erkennen, die aus den Binardaten codiert werden. 

10. Fahrzeugumgebungsiiberwachungssystern nach Anspruch 8 oder 9, wobei die Verfolgungsmittel eine Identitat 
des verfolgten Objekts bestirnmen basierend auf Positions koordinaten eines Flachenschwerpunkts von einem Bild 
desselben, einer Hache des Bilds desselben und einem Seitenverhaltnis eines das Bild desselben umschreibenden 
Rechtecks. 65 

11. Fahrzeugumgebungsiiberwachungssystem nach einem der Anspruche 1 bis 10, umfassend Warnungsmittel 
(S45, 3, 4) zum Warnen eines Fahrers, wenn mittels der Bestimmungsmittel (2, S14 bis SI 9) bestimmt wird, daB es 
eine bedeutende Moglichkeit fur eine Kollision mit dem Objekt gibt, wobei die Warnungsmittel (S45, 3, 4) an einem 
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Warnen des Fahrers g^^dert sind, wenn der Fahrer eine Bremsoperation aus^^And die durch die Bremsopera- 
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